根据研究人员在歧视和校准性能方面采用的标准评估实践，这项工作旨在了解阶级不平衡对胸部X射线分类器的性能的影响。首先，我们进行了一项文献研究，分析了普通科学实践并确认：（1）即使在处理高度不平衡的数据集时，社区也倾向于使用由大多数阶级主导的指标; （2）包括包括胸部X射线分类器的校准研究仍然罕见，尽管其在医疗保健的背景下的重要性。其次，我们对两个主要胸部X射线数据集进行了系统实验，探讨了不同类别比率下的几种性能指标的行为，并显示了广泛采用的指标可以隐藏少数阶级中的性能。最后，我们提出了通过两个替代度量，精密召回曲线和平衡的Brier得分，这更好地反映了系统在这种情况下的性能。我们的研究结果表明，胸部X射线分类器研究界采用的当前评估实践可能无法反映真实临床情景中计算机辅助诊断系统的性能，并建议改善这种情况的替代方案。
translated by 谷歌翻译
机器学习（ML）研究通常集中在模型上，而最突出的数据集已用于日常的ML任务，而不考虑这些数据集对基本问题的广度，困难和忠诚。忽略数据集的基本重要性已引起了重大问题，该问题涉及现实世界中的数据级联以及数据集驱动标准的模型质量饱和，并阻碍了研究的增长。为了解决此问题，我们提出Dataperf，这是用于评估ML数据集和数据集工作算法的基准软件包。我们打算启用“数据棘轮”，其中培训集将有助于评估相同问题的测试集，反之亦然。这种反馈驱动的策略将产生一个良性的循环，该循环将加速以数据为中心的AI。MLCommons协会将维护Dataperf。
translated by 谷歌翻译